首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏云上修行

    LiveKit Agents 深度技术架构剖析

    摘要:本文档以资深系统架构师的视角,深入剖析 LiveKit Agents 框架的设计哲学与实现细节。 LiveKit Agents是什么 LiveKit Agents 框架是一个基于 Python 的系统,旨在构建、部署和管理与 LiveKit WebRTC 基础设施交互的实时对话式 AI Agent。 简单说,就是提供基于LiveKit房间的智能对话能力。 1. LiveKit Agents 在架构上对此做了极致优化。 LiveKit 选择在 Worker 侧进行归一化,确保下游插件收到稳定的数据流。

    46220编辑于 2025-12-30
  • 来自专栏福大大架构师每日一题

    LiveKit v1.9.1 版本发布:WebRTC 通信稳定性与功能全面升级

    近日,开源 WebRTC 项目 LiveKit 正式发布了 v1.9.1 版本。该版本在稳定性、功能扩展和协议支持等方面进行了多项重要更新,进一步提升了实时音视频通信的可靠性和性能。 信令消息中添加 ID • 在 TrackInfo 中设置并使用 rid/spatial layer • 添加丢弃乱序可靠消息的日志 • chore: 在作业创建时设置 workerid • 在移动 egress/agent 以更好理解其映射 • 限制仅在 WHIP 路径中从 SDP 提取 rids • 为所有编码器设置 rids • 对于无效的 rid + track info 组合,返回默认层 • 规范化已知的 rids • 将 agent /protocol 到 v1.40.0 • 删除不必要的检查 • 分块房间更新 • 将已知的 rids 从 012 切换为 210,用于 OBS • 初始化 UA(User-Agent)解析器只执行一次 下载与文档: 项目地址:https://github.com/livekit/livekit 官方文档:https://docs.livekit.io 我们相信人工智能为普通人提供了一种“增强工具”,并致力于分享全方位的

    27110编辑于 2025-12-18
  • 来自专栏福大大架构师每日一题

    LiveKit v1.9.2 发布:功能增强与多项优化修复详解

    发布时间:2025年10月17日 LiveKit 在 v1.9.2 版本中带来了多项功能增强、性能优化以及 Bug 修复。 • 在参与者属性中包含 agent_name 信息。 • 清理冗余代码,因为 ingress 无需 OSS sweeper。 • 支持音频的分层传输(Simulcast)。 总结 本次 LiveKit v1.9.2 更新在功能扩展、性能优化以及稳定性方面都有显著提升,尤其是在音频分层传输支持、加密数据包类型引入、RPC API 完善以及节点选择策略优化等方面,为实时音视频应用提供更稳健和高效的基础 代码见:github.com/livekit/livekit 我们相信人工智能为普通人提供了一种“增强工具”,并致力于分享全方位的AI知识。

    26610编辑于 2025-12-18
  • 来自专栏云上修行

    LiveKit 入门实战:基于 Python SDK 构建视频会议客户端

    2.1 安装依赖项目主要依赖 livekit SDK 和 opencv-python(用于视频处理和显示)。 pip3 install livekit python-dotenv opencv-python numpy2.2 环境变量配置在项目根目录下创建一个 .env 文件,配置连接 LiveKit 服务器所需的凭据 :LIVEKIT_URL=wss://your-project.livekit.cloud # 你的 LiveKit 服务器地址LIVEKIT_API_KEY=API ") self.token = os.getenv("LIVEKIT_TOKEN") self.api_key = os.getenv("LIVEKIT_API_KEY") 或 (LIVEKIT_API_KEY 和 LIVEKIT_API_SECRET)") sys.exit(1) logger.info

    39610编辑于 2025-12-25
  • 来自专栏刘同学被占用了

    Livekit-开源实时音视频基础设施介绍

    Livekit 是今年开源的一个全栈的RTC解决方案,包括各种版本的sdk以及开箱即用服务端。 项目地址 Livekit: LiveKit - Open source infrastructure for real time audio and video. LiveKit · GitHub 快速上手 livekit的后台组件&命令行工具全部打包为docker镜像,这个对于熟悉docker使用的开发者来说非常友好。 :7880 \ -p 7881:7881 \ -p 7882:7882/udp \ -v $PWD/livekit.yaml:/livekit.yaml \ livekit /livekit-server \ --config /livekit.yaml \ --node-ip <machine-ip> 第三部就可以开始测试了, 这里需要说明的是livekit

    8.8K10编辑于 2022-03-30
  • 来自专栏服务端技术杂谈

    为了AgentAgent

    主要讲的是如何选取Agent主流框架的逻辑。 讨论了两种路径,workflows和agent。 我理解大概率是为了AgentAgent所找的一个所谓具有代表性的例子吧。 而且你现在用Agent,未来扩展性也是一个问题。 业务想要扩展一个新的场景逻辑,你敢直接用Agent承接吗? 有人说,我们会在Agent上线之前,充分评估模型,确保Agent可以适配新的业务场景需求。 但是业务不会等你Agent ready之后再开量啊。 而Agent更适合人机协作,比如AI Coding或其他chatbot,因为有个人在旁边可以为Agent的不可控进行兜底。 大家用Agent的目的很多时候并不是从第一性原理出发,很多时候都是为了AgentAgent,想一想Agent真的比workflow好吗?

    6210编辑于 2026-03-11
  • 来自专栏福大大架构师每日一题

    livekit v1.9.0震撼发布!全新功能与优化助力实时音视频开发进入新时代

    LiveKit作为一款领先的实时音视频基础设施项目,一直致力于为开发者提供开箱即用的高质量解决方案。 2025年6月5日,LiveKit迎来了v1.9.0版本的震撼发布,本次版本带来了多项新增功能、修复和优化,极大提升了平台性能和使用体验。 本文将为您详细解析LiveKit v1.9.0的重大更新内容,帮助您第一时间了解版本亮点,助力项目研发升级。 一、LiveKit v1.9.0版本概述 LiveKit v1.9.0版本在核心功能与稳定性方面均进行了深入优化,重点聚焦高效日志追踪、性能阈值调节、协议兼容性增强和异常问题修复,旨在为开发者提供更加稳定 新增SIP协议更新API接口 实现了SIP update API接口,进一步增强了LiveKit与传统电话通信系统的兼容能力,为混合通信场景提供了更丰富的整合方案,拓展更多应用可能。 5.

    1.3K10编辑于 2025-06-07
  • 来自专栏TSINGSEE青犀视频

    LiveKit架构下,WebRTChlsm3u8语音转写STT大模型EasyDSS全场景音视频技术革新

    EasyDSS直播点播视频会议平台精准洞察行业痛点,以LiveKit为底层核心引擎重构架构,融合语音转写STT、实时字幕、AI大模型智能摘要等核心技术,打破单一功能壁垒,构建起"直播+点播+会议"三合一的全场景音视频服务体系 LiveKit作为基于Go语言与PionWebRTC开发的开源实时音视频框架,其核心优势在于轻量化、高可用的SFU媒体服务器设计,能将复杂的ICE协商、SRTP加密、弱网补偿等底层逻辑完全封装,为EasyDSS 不同于传统平台"功能叠加式"的开发模式,EasyDSS基于LiveKit进行深度定制优化,构建了接入层、媒体处理层、应用层三层一体化架构,实现全场景音视频能力的统一调度与高效协同。 在接入层,EasyDSS借助LiveKit原生支持的WHIP/WHEP标准协议,结合对RTMP、RTSP、HLS等传统流媒体协议的兼容,实现了多终端、多设备的无插件无缝接入–无论是专业编码器、摄像头,还是手机 EasyDSS基于LiveKit的架构重构,不仅保留了LiveKit低延迟、高兼容的核心优势,更补齐了点播存储、直播分发、企业级管控的能力短板,结合AI智能技术的赋能,实现了从"基础音视频工具"到"全场景智能协同平台

    6110编辑于 2026-03-12
  • 来自专栏媒矿工厂

    RTC @scale 2024 | 从单一到大规模开源

    目前,我还在 LiveKit 担任全职的 Field CTO。 我此前在 WebRTC 的许多不同领域都有经验,我曾看到人们将其用于机器人、广播、 AI。 LiveKit 介绍 目前我在 LiveKit 工作,LiveKit 是一个纯 Go 实现的 WebRTC 服务器,附带了所有必要的功能,例如 SDK 和协议桥接等,这些都是人们从零开始构建的。 这个开源版本也可以进行托管,你可以使用它并支付费用,LiveKit 会为用户运行这项服务。 LiveKit 鼓励人们的自主性,用户可以通过 GitHub 下载 LiveKit SFU 的代码,自行解决问题,而不必向支持部门发起支持请求。LiveKit 还提供了独立性,用户不会被供应商锁定。 比如,LiveKit 根据带宽计费而不是时间,它正推动用户使用 VP9 而不是 H.264,这保持了和用户利益的一致性。

    42610编辑于 2024-05-11
  • 来自专栏Python

    理解 Agent2Agent(A2A)、Agent to Agent和链式函数调用的区别与联系

    在构建 AI 智能体系统或多模块任务执行架构时,我们常会遇到三个关键术语: Agent to Agent 链式函数调用 Agent2Agent (A2A) 它们看似类似,甚至常被混用,但实际上分别属于不同的抽象层次 两个 Agent 间的信息传递行为 多智能体协同、机器人通信 Agent2Agent (A2A) 系统架构层 一个 Agent 主动调用其他 Agent 协作解决问题 LLM Agent 编排、AutoGen Agent2Agent 像一个“项目经理型 AI”会调度多个“专家型 AI”组成动态团队,解决复杂任务 类比一句话总结: 链式函数调用像拼装生产线,Agent to Agent像员工交流,而Agent2Agent Agent to Agent(通信范式) # 每个 Agent 通过消息交互完成任务 agent_A.send("get data") agent_B.receive("get data").send( 中的 planner_agent.plan() → 调用搜索、总结、编码 agent 七、总结一句话 链式函数调用解决“流程”,Agent to Agent定义“协作”,而Agent2Agent打造

    78910编辑于 2025-07-10
  • 来自专栏Agent Apps

    告别Agent Skills, 拥抱 Agent Apps

    这正是面向Agent的TUI(AOTUI)要回答的问题。是什么:一种新的界面范式面向Agent的文本用户界面(AOTUI)是一种以LLMAgent为一等公民的界面范式。 没有鼠标点击,Agent调用Tool/Funtion。没有视觉提示(颜色、布局、头像),数据通过文本引用来引用。简言之:AOTUI就是当你为模型而非人类设计时,用户界面的样子。 AOTUI如何重建桥梁AOTUI为没有鼠标的Agent解决了问题的三个部分——识别、选择和触发。 下一步:[认识Agentina→](https://agentina-agent-apps.vercel.app/en)—基于AOTUI构建的Agent应用宿主。

    13010编辑于 2026-03-06
  • 来自专栏开源服务指南

    WebRTC 端到端堆栈:可扩展的多人会议 | 开源日报 No.275

    livekit/livekithttps://github.com/livekit/livekit Stars: 8.2k License: Apache-2.0 LiveKit 是一个基于 WebRTC

    61010编辑于 2024-06-11
  • 来自专栏XINDOO的专栏

    Agent设计模式——附录 G - 编码 Agent

    最高效的开发团队不仅将任务委托给 Agent,更通过整套复杂编码 Agent 实现自我增强。这些 Agent 扮演着不知疲倦的专业团队成员角色,放大人类创造力并显著提升团队扩展能力与开发速度。 Agent 虽能力强大,但定位为支持性协作者。开发者指导具体 Agent 调用、提供必要上下文,并最关键地——对 Agent 生成输出行使最终裁决权,确保其符合项目质量标准与长期愿景。 本框架致力于在人类领导与底层模型原始能力间建立最纯净对话通道,确保每个 Agent 均以峰值潜力运行。 该框架构建为专业化 Agent 团队,每个 Agent 针对开发生命周期中的核心功能专门设计。 专业化 Agent 团队: 通过定向提示工程,我们可构建专业分工的 Agent 团队,每个成员针对特定开发任务深度优化。 流程 Agent:代码质量监督员 批判分析: Agent 执行初步审查,识别潜在缺陷、编码规范违规及逻辑漏洞,功能类似静态分析工具。 深度反思: Agent 对自身批判进行元分析。

    36410编辑于 2025-10-27
  • 来自专栏音视频技术

    快速构建音视频能力与服务,5G低延迟视频技术应用实践,RTC云游戏场景探索,面向用户体验的客户端优化实践

    快速构建音视频能力与服务 Topic 《LiveKit方案平台在行业场景下实践与应用》 宣利民  七牛云 音视频解决方案技术专家 随着音视频技术的发展与完善,相关生态和产业链快速壮大。 七牛云自研的LiveKit音视频方案平台,基于实时音视频、直播,IM,AI 智能算法和网络等先进技术,通过便捷的接入方式,帮助企业快速完成在自有 APP、小程序、网站等平台的业务的搭建。 本演讲将分为三个部分:第一部分介绍音视频能力在行业场景下的使用和现状;第二部分介绍七牛云自研LiveKit平台的方案实现,以及在行业场景下如何实现快速构建音视频服务;第三部分介绍LiveKit在面对行业需求时做的突破和坚守 通过LiveKit平台快速构建行业场景下的音视频服务 3. LiveKit在面对行业需求时做的突破和坚守 5G低延迟视频技术应用实践 Topic 《基于5G网络的视频远程操控应用实践》 沈灿  中兴通讯 音视频技术研发总工 工业场景的视频回传,为远程控制、机器识别提供视频内容

    2K20编辑于 2023-02-23
  • 来自专栏红队蓝军

    java agent使用与agent内存马

    什么是java agent 本质是一个jar包中的类,有两种实现,第一种是通过permain()函数实现。 Java agent的使用方式有两种: 实现premain方法,在JVM启动前加载。 实现agentmain方法,在JVM启动后加载。 agent基础使用 环境搭建 agent项目源码 agent: package com.naihe; ​ import java.io.IOException; import java.lang.instrument 并没有使用字节码相关的库 二,修改MANIFEST.MF 使用解压工具打开MANIFEST.MF,并修改内容 Premain-Class: com.naihe.agent Agent-Class: com.naihe.agent : com.naihe.agent Agent-Class: com.naihe.agent Can-Redefine-Classes: true Can-Retransform-Classes: true

    1.5K20编辑于 2022-04-13
  • 几个值得学习的github项目

    匿名聊天室基于livekit 和next.js,可以匿名进行文字、语音聊天有个高级功能就是支持语音录屏个人感觉在某些场景下还是有些用处的。如何访问? 是有个demo地址可以直接测试的在线体验地址:https://chat.cwy666.eu.org/这个Demo使用livekit cloud 的免费服务,当超过免费额度(每月50G流量)时会自动停止有啥特点 :部署简单,前端支持直接部署到vercel, 后端可以直接使用 livekit cloud 的免费服务,也可以按照官方文档自建支持视频,语音聊天(默认只允许语音),无需登录音频降噪,支持speex以及RNNdenoise clone git@github.com:velor2012/anonymous-chat-room.gitcd anonymous-chat-roomyarn install在 http://cloud.livekit.io

    31810编辑于 2024-09-19
  • 来自专栏红队蓝军

    java agent使用与agent内存马

    什么是java agent 本质是一个jar包中的类,有两种实现,第一种是通过permain()函数实现。 agent基础使用 环境搭建 agent项目源码 agent: package com.naihe; import java.io.IOException; import java.lang.instrument 使用解压工具打开MANIFEST.MF,并修改内容 Premain-Class: com.naihe.agent Agent-Class: com.naihe.agent Can-Redefine-Classes /12107/Desktop/agent.jar 动态修改class 清除之前的内容 正常运行 运行attach 可以看到Demo的test方法已经被修改了 agent内存马 搭建一个简单的 命名为agent2 打包好的jar就在如下位置 修改MANIFEST.MF 老样子在前面添加 Premain-Class: com.naihe.agent Agent-Class: com.naihe.agent

    1.4K10编辑于 2022-05-17
  • 来自专栏后端云

    cyborg agent

    cyborg agent提案 问题描述 Cyborg的需要一下功能:包括在计算机节点上管理代理,定位加速器,监控加速器状态和协调加速器驱动程序。 提议变更 cyborg agent驻留在各种计算机主机上,并监控对计算节点上的加速器进行监控。 如果某一个计算节点上加速器存在但没有设置,代理将通知conductor并建议手动检查。 用cyborg agent来监控加速器的状态并报告给conductor,并通过这些报告信息来帮助调度和操作。 Cyborg Agent将保留本地缓存数据,目的是在系统中断或连接丢失不会失去加速器状态。 cyborg agent具体内容 Cyborg代理将安装在正在或者可能会使用加速器的计算节点上。 实例连接: 一旦生成实例,需要连接到主机上的某个加速器,Cyborg服务器将向Cyborg代理发送消息,通知agent新实例。

    1.2K50发布于 2018-10-24
  • 来自专栏AI

    Agent详解

    在计算机科学中,Agent(代理)是一种可以在某种环境中自主行动以达成其设计目标的计算实体。Agent可以是物理实体(如机器人)或虚拟实体(如软件程序)。在本文中,我们将主要关注软件AgentAgent的定义 在软件领域,Agent被定义为一个程序,它可以在某种程度上自主地在环境中行动,以达成其设计目的。 Agent的行为通常是响应环境的变化,这种变化可以是外部输入,也可以是Agent自身的状态变化。 Agent的分类 根据Agent的复杂性和自主性,我们可以将Agent分为以下几类: 简单Agent:这种Agent只能执行一些预定义的任务,它们的行为通常是固定的,不会根据环境的变化而改变。 根据Agent的复杂性和自主性,我们可以将Agent分为简单Agent、反应性Agent、有目标的Agent和学习Agent

    1.8K00编辑于 2025-04-22
  • 来自专栏爱分析洞见文章

    容智Agent产品升级,Hyper Agent与Report Agent的创新征程

    2025年7月,容智信息发布Hyper Agent 3.2与Report Agent 2.0新版产品,为企业提供Agent规模化落地的参考答案。 2025年7月末,容智发布Hyper Agent 3.2与Report Agent 2.0新产品。Hyper Agent实现了业务流程自主规划与编排,覆盖知识问答、合规审查等多类场景。 02 两条Agent产品线,定义企业智能体范式​Hyper Agent,L4级智能体的突破OpenAI将Agent能力分为L0至L5等级。 基于文科生能力,Report Agent通过对接企业知识库、指标库、算法库和数据库,它能让Agent懂得说“自家黑话”。 Report Agent的理科生能力,以准确性为核心。比如,在金融场景中,Report Agent可自动执行杜邦分析等复杂计算。

    33210编辑于 2025-08-26
领券